Ông sinh tại Vinh (Nghệ An). Nguyên quán của ông là huyện Can Lộc (nay là huyện Lộc Hà), tỉnh Hà Tĩnh. Ông học tú tài (triết học) ở Hà Nội trước cách mạng tháng Tám. Năm 1946, ông gia nhập Trung đoàn Thủ Đô, chiến đấu chống lại quân đội Pháp ở Hà Nội. Sau khi đưa chính phủ đầu não Việt Minh ra khỏi vùng chiến sự, đơn vị của ông rút quân về huyện Đông Anh và sống sót. Ông được đưa đi bồi dưỡng chính trị, làm chính trị viên đại hội (chiến dịch Điện Biên Phủ năm 1954).

Ông làm thơ từ năm 1947 và hầu như chỉ viết về người lính và chiến tranh. Tập thơ Đầu súng trăng treo (1966) là tác phẩm chính của ông. Bài thơ "Đồng chí" được in vào tháng 2-1948. Thơ ông không nhiều nhưng lại có nhiều bài đặc sắc, cảm xúc dồn nén, ngôn ngữ và hình ảnh chọn lọc, hàm súc. Ông đã sáng tác bài thơ "Đồng chí" mà sau này đã được phổ nhạc cho bài hát "Tình đồng chí". Bài hát đã khơi dậy những xúc động mãnh mẽ trong lòng nhiều thế hệ.

Vào 00 giờ 27 phút ngày 27 tháng 11 năm 2007, ông đã qua đời tại bệnh viện Hữu Nghị thành phố Hà Nội.